External Observers May See More Clearly: Cross-Model Span-Level Hallucination Detection in Large Language Models via Hidden State Probing
外部观察者或更清晰：基于隐藏状态探测的大模型跨模型跨度级幻觉检测
🧭 LLM 幻觉检测 · 隐藏状态探测
LIX, École Polytechnique · LIPN, Sorbonne Paris Nord · School of Electrical and Electronic Engineering, Nanyang Technological University
提出用隐藏状态探针定位幻觉起始与延续 token，并发现外部小模型观察者可匹敌生成模型自检测
📌 工作参考价值（4 点）
- 在生成式推荐或 Agent 链路中，可用隐藏状态探针做幻觉 onset 实时检测：不必等整段生成完成，发现 onset token 就触发回退、改写或检索，用于商品描述、广告文案等高价值生成场景。
- 跨模型监控架构值得借鉴：用一个小模型作为外部观察者读取大模型生成时的 hidden states，成本低且可独立部署，适合做大模型生成内容的在线质量守门。
- 相比 RAG 外部检索，内部探针没有额外网络延迟，适合隐私受限、需要本地推理的搜索/推荐场景；可把探针作为轻量插件挂在 Transformer 特定层输出上。
- 训练检测头时建议从 token 级升级到 span 级标注，业务上更对应“哪一句开始跑偏”，便于精确定位和修复；可构造自己的 span 标签（如商品属性不一致片段）来训练。